东方卫视秋晚：“虚实双生 真假难分”的数字人背后藏着哪些黑科技？

转自 | 东方传媒技术

订阅 | 010-86092062

虚实双生，真假难分

9月10日东方卫视中秋晚会上，梅派青衣史依弘和SMG虚拟主播申䒕雅同台演绎“贵妃醉酒”，两人在舞台上的互动默契流畅，一实一虚，一古一今，让观众陶醉于黑科技与国粹经典交织的梦幻场景中。

由SMG旗下融媒体中心和SMT共同研发、制作的虚拟主播申䒕雅的表演让网友纷纷赞叹“申䒕雅不但美，还会的好多啊！”从主持到“旦角儿”再到舞蹈RAP，造型惊艳，能力出众，细节全拉满。

虚实相生，精彩片段节选

SMT子午工作室元宇宙数字人整体解决方案在1个月内完成了虚拟数字人申䒕雅5分钟棚外实景拍摄以及3套超高精度、超写实服装资产的完美呈现。

技术团队首次引入电影工业化制作流程，让棚外实景拍摄与虚拟人制作完美融合。先进的渲染、AI智能绑定、4D扫描、CG技术合成等数字人核心创制能力矩阵全面升级，同时得益于专业舞台老师的指导，才最终让申䒕雅在舞台上呈现出精巧流畅、帧帧唯美、栩栩如生的表演效果。

申䒕雅变装片段，精彩片段节选

今天我们邀请到子午工作室核心团队成员，为大家超细复盘，如何用黑科技，提升虚拟数字人创制的品质和效率。

藏在细节里的帧帧唯美

Mid-Autumn

Festival

演绎一场史无前例的《贵妃醉酒》

8月初子午工作室收到了东方卫视中秋晚会的制作邀请，让申䒕雅与史依弘老师同台演绎京剧名段《贵妃醉酒》。

超写实数字人申䒕雅在3月全国两会期间推出后大获成功，之后团队始终在不断提升和优化SMT数字人整体解决方案的流程和创制能力，在不到3个月的时间里，申䒕雅在脸部模型、材质贴图、绑定技术、发型调整全方面都焕然一新。 

中秋晚会的双生表演对子午工作室挑战很大，团队必须在一个月内，将虚拟人融入棚外实景拍摄中，同时还要完成3套高精度的超写实服装资产的呈现。

#1

电影工业化制作流程的创新应用

让虚拟人完美融入实景拍摄

外景拍摄和传统棚内拍摄模式有很多不同，棚内拍摄我们可以预测和采集到相对固定范围的灯光信息，同时也可以用AR技术得到干净的镜头跟踪信息。

但是棚外拍摄我们将面对十分复杂的光学环境，和一个完全需要后期反求的镜头运动信息。为了让申䒕雅完美融合在实拍镜头中，团队引入了电影的工业化工作流程。

申䒕雅和史老师的表演毫无违和感，数字人完美融合在外景环境中。

在灯光颜色细节方面，团队采用了ACES的色彩管理流程，高效还原摄像机在外景拍摄中的纯净线性光信息，其在渲染领域的出色表现让我们产出的图片序列有足够的色彩空间和实拍场景的视频进行匹配。

演员表演的实拍场景

申䒕雅融入到实拍场景中

通过ACES色彩管理流程，逆向还原真实环境的光影和色彩，干净唯美

让团队每位成员在不同的制作环境下交出标准统一的作品，是提高生产效率、保证品质的保障。子午工作室使用了LookDev工具来将虚拟数字人制作流程标准化，保证每个制作阶段每位团队成员提交的成品都能有一致的效果。

下面就是使用了LookDev标准化流程后，申䒕雅面部在晴天、阴天、室内的表现，从原画到贴图到建模到引擎实时渲染都能获得一致的效果，对效率尽在把握。

#2

CFX动力学解算技术

超写实服装资产重磅呈现

申䒕雅头戴凤冠，身上穿蟒袍，戴云肩，腰上系马面裙，手执金扇……雍容华贵的行头，加上自然的光与影，明暗交错，珠宝熠熠生辉，氛围感拉满。

打造这样一系列重磅数字资产团队我们而言真的是“地狱级”挑战。在半个月的时间内需要完成了三套衣服的写实级别扫描、建模和还原；对不同衣服材质质感真实细节的高保真色彩还原；5分钟时长的镜头运解算，完成对贵妃戏服上各种珍贵挂件、穗穗、头戴配饰的分层解算。

戏服制作布料

新式旗袍制作布料

团队邀请京剧院的老师拿到贵妃醉酒的唱段用戏服，采用扫描加模型重建结合的方式，辅以工作室先进的动画制作流程不仅加快了申䒕雅服装的制作效率，同时从细节上逼真还原了戏服该有的本质。

在制作过程中，团队将戏服的每个不同的细节部件拆分开来，让每一个颜色成为一个不同动力学的部件。

不仅如此，团队还给予不同的部件不同的动力学属性，还原了真实世界中戏服头冠运动层级碰撞的复杂性，在演出中，申䒕雅跨过水面时戏服布料的褶皱、光感和运动机理让观众分不清戏服的真假。

SMT元宇宙服务平台

Mid-Autumn

Festival

面向未来创造更多的价值

申䒕雅作为SMG融媒体中心和SMT共同孵化的虚拟数字人，正在不断进行商业拓展，扩大业务领域，提升其商业价值。

而虚拟人作为元宇宙入口级资源，将成为创意演绎、品牌叙事、用户感知的重要抓手，将技术与艺术融合，将对人的洞见赋予新的演绎形式，自然会造就充满无限可能的新故事。

SMT诚挚邀请您一起联合共创IP虚拟体验，让各种传说中的人物在数字世界苏醒、焕新。

SMT元宇宙服务平台，不仅仅有领先的数字人创制技术，更可以为各行各业元宇宙提供技术可靠、功能丰富、持续迭代的一体化解决方案。

推荐阅读

我知道你在看哟